在本文中,我们探索从教学视频中学习的自我监督的视听模型。事先工作表明,这些模型可以在视频的大规模数据集训练后与视觉内容相关联,但它们仅在英语中进行培训和评估。为了学习多语言视听表示,我们提出了一种级联方法,它利用了在英语视频上培训的模型,并将其应用于其他语言的视听数据,例如日本视频。通过我们的级联方法,与日语视频培训相比,我们展示了近10倍的检索性能提高。我们还将培训的模型应用于英语视频培训到日语和印地文口语字幕的图像,实现最先进的性能。
translated by 谷歌翻译